บทเรียนที่ 5 เป็นจุดเปลี่ยนสำคัญใน COMP5511 เรากำลังก้าวออกจากตรรกะที่แน่นอนของคอมพิวเตอร์แบบดั้งเดิมและความแน่นอนที่ได้รับการดูแลของโมเดลการจำแนกประเภทเบื้องต้น ไปสู่ หัวใจเชิงความน่าจะเป็นของ Generative AI ในเซสชันนี้ เราจะสำรวจว่าทำไมโมเดล AI สมัยใหม่จึงไม่ส่งออก "ข้อเท็จจริง" แต่กลับเป็น การแจกแจงความน่าจะเป็น, เปิดเผยกลไกที่ทำให้ LLMs สามารถเขียนบทกวีและโมเดลการแพร่กระจายสามารถวาดภาพจากสัญญาณรบกวนได้
1. การเปลี่ยนกระบวนทัศน์: จากตรรกะสู่ความน่าจะเป็น
- นอกเหนือจาก IF-THEN: การเปลี่ยนจากกฎที่เข้มงวดไปสู่ความเป็นไปได้ทางสถิติที่ไหลลื่น
- จุดสิ้นสุดของความแน่นอน: ทำความเข้าใจว่าเหตุใดผลลัพธ์ของ GenAI จึง ไม่แน่นอน โดยการออกแบบ
- ความน่าจะเป็นในฐานะเครื่องมือ: "ยุคของ GenAI" ปฏิบัติต่อ ความไม่แน่นอนในฐานะคุณสมบัติ สำหรับความคิดสร้างสรรค์ แทนที่จะเป็นข้อผิดพลาดที่ต้องแก้ไข
2. กลไกเชิงความน่าจะเป็นในการสร้างสรรค์
Generative AI อาศัยการสุ่มตัวอย่างจากปริภูมิความน่าจะเป็นที่มีมิติสูง ไม่ว่าจะสร้างข้อความหรือรูปภาพ โมเดลจะนำทางความไม่แน่นอนเพื่อสร้างสิ่งใหม่:
- แบบจำลองภาษาขนาดใหญ่ (LLMs): การทำนายโทเค็นถัดไปไม่ใช่การเลือกเดียว แต่เป็นการ การแจกแจงของความเป็นไปได้.
- โมเดลการแพร่กระจาย: ศิลปะของการวิศวกรรมย้อนกลับความเป็นระเบียบจาก สัญญาณรบกวนแบบเกาส์เซียน.
- กระบวนการสุ่มตัวอย่าง: วิธีใช้ความเป็นสุ่มเพื่อป้องกันผลลัพธ์ที่ซ้ำซากและ "เหมือนหุ่นยนต์"
3. เอเจนต์ในโลกที่คาดเดาไม่ได้
เอเจนต์อัตโนมัติจะต้องนำทาง " โลกเปิด" ที่ทุกการกระทำมีความเสี่ยงและผลตอบแทนที่ไม่ทราบระดับ
ผลกระทบจากการหลอน
โมเดลที่แน่นอนอย่างสมบูรณ์นั้นปลอดภัยแต่ขาดความคิดริเริ่ม การยอมรับความไม่แน่นอน เราเปิดใช้งานความคิดสร้างสรรค์ แต่เราก็นำมาซึ่งความเสี่ยงของ การหลอน—where the model confidently generates plausible but false information.
ตรรกะการสุ่มตัวอย่างเชิงแนวคิด
1
กำหนดฟังก์ชันGenerate_ResponsePrompt,Temperature
2
คำนวณการแจกแจงความน่าจะเป็น สำหรับทั้งหมด โทเค็นถัดไปที่เป็นไปได้
3
ปรับ การแจกแจงตาม Temperatureสูงขึ้น = หลากหลายมากขึ้น, ต่ำลง = เน้นมากขึ้น
4
เลือก โทเค็นถัดไปโดยใช้ การเลือกแบบสุ่มถ่วงน้ำหนัก
5
ทำซ้ำ จนกว่า เสร็จสมบูรณ์.
การสร้างแบบจำลองเชิงความน่าจะเป็น
AI สมัยใหม่มองโลกผ่านเลนส์ของสถิติ แทนที่จะเป็นความจริงแบบสองค่า